生成 AI のガードレールについて学べるワークショップ「Build responsible generative AI apps with Amazon Bedrock Guardrails」に参加しました #AWSreInvent #AIM324

AWS re:Invent 2024 において生成 AI のガードレールについて学べる、なワークショップ「Build responsible generative AI apps with Amazon Bedrock Guardrails」に参加してきました。Amazon Bedrock Guardrails の使い方と Bedrock Guardrails によって拒否された場合のログの可視化などを学ぶことができました。

ワークショップの概要

タイトル

• AIM324 | Build responsible generative AI apps with Amazon Bedrock Guardrails

概要（re:Invent 2024 イベントサイトより抜粋）

In this workshop, dive deep into building responsible generative AI applications using Amazon Bedrock Guardrails. Develop a generative AI application from scratch, test its behavior, and discuss the potential risks and challenges associated with language models. Use guardrails to filter undesirable topics, block harmful content, avoid prompt injection attacks, and handle sensitive information such as PII. Finally, learn how to detect and avoid hallucinations in model responses that are not grounded in your data. See how you can create and apply custom tailored guardrails directly with FMs and fine-tuned FMs on Amazon Bedrock to implement responsible AI policies within your generative AI applications. You must bring your laptop to participate.

Spekaers

• Vivek Bhadauria, Principal Engineer, Amazon.com
• Dani Mitchell, Generative AI Solutions Architect, Amazon Web Services

LEVEL

• 300 – Advanced

ワークショップの流れ

ワークショップは次の流れで進行しました。2 時間のワークショップであり、ハンズオンをすべて対応するのに十分な時間がありました。

• Amazon Bedrock Guardrails の概要
• Amazon Bedrock Guardrails の新機能の説明
• Amazon Bedrock Guardrails を導入するリファレンスアーキテクチャの説明
• ワークショップ（ハンズオン）

新機能の説明では、新しい 2 つのガードレールの紹介がありました。

Configure thresholds to help filter unsersirable and potentially harmful text and image content, jailbreaks, and prompt attacks

Identity, correnct, and explain fatual claims in response using automaterd reasoning

下記でブログ化されている内容と同様と思われますが、今回のワークショップ（ハンズオン）には含まれていませんでした。

https://dev.classmethod.jp/articles/amazon-bedrock-guardrails-automated-reasoning-checks-awsreinvent2024/

ハンズオンにはありませんでしたが、代わりに新機能の関連情報の紹介がありましたので、共有します。

• AWS ブログ
  • Guardrails for Amazon Bedrock can now detect hallucinations and safeguard apps built using custom or third-party FMs | AWS News Blog
• ナレッジベース
  • amazon-bedrock-samples/rag/knowledge-bases/features-examples/05-responsible-ai/contextual-grounding.ipynb at main · aws-samples/amazon-bedrock-samples

ワークショップ（ハンズオン）の内容

ワークショップは構築済みのアプリに Amazon Bedrock Guardrails を導入して、様々なガードレールを試す内容でした。主な内容は次のとおりです。

• Amazon Bedrock Guardrails を利用したチャットアプリの実装（一部のみ）
• Amazon Bedrock Guardrails の設定
  • コンテンツフィルター
  • 拒否されたトピック
  • ワードフィルター
  • 機密情報フィルター
• Amazon Bedrock Guardrails のログの可視化
  • Amazon CloudWatch Logs へのログ出力
  • Amazon CloudWatch Dashboard の作成

ワークショップで利用するアプリは事前にほとんどが構築済みとなっており、Lambda の部分を提供されているコードで実装しました。アプリのアーキテクチャは下図となります。

チャットアプリ上ではガードレールの動作結果も表示されるようになっており、どのガードレールが原因で回答されなかったのかがわかりやすくされていました。色々なプロンプトでガードレールの動作を試すことができました。下図はその一例です。

個人的に今後のためになったのは CloulWatch のダッシュボードの作り方です。
Amazon Bedrock のログが格納されているロググループからメトリクスフィルターでガードレール関連の情報をメトリクス化して、下図のダッシュボードを作りました。その過程で Bedrock のログに対する理解が深まりました。

以上でワークショップの紹介は終わりです。

さいごに

生成 AI のガードレールとそのログの可視化について学べるワークショップ「Build responsible generative AI apps with Amazon Bedrock Guardrails」に参加しました。ガードレールの動作を確認しやすいように提供されており、効率的に学べるワークショップでした。残念ながら、セルフペースのワークショップは Comming Soon でしたので、公開されるのを楽しみに待ちたいと思います。